Layered evaluation of interactive adaptive systems : framework and formative methods

Peer reviewedPostprin

Assessing the Effectiveness and Usability of Personalized Internet Search through a Longitudinal Evaluation

This paper discusses a longitudinal user evaluation of Prospector, a personalized Internet meta-search engine capable of personalized re-ranking of search results. Twenty-one participants used Prospector as their primary search engine for 12 days, agreed to have their interaction with the system logged, and completed three questionnaires. The data logs show that the personalization provided by Prospector is successful: participants preferred re-ranked results that appeared higher up. However, the questionnaire results indicated that people would prefer to use Google instead (their search engine of choice). Users would, nevertheless, consider employing a personalized search engine to perform searches with terms that require disambiguation and/or contextualization. We conclude the paper with a discussion on the merit of combining system- and user-centered evaluation for the case of personalized systems

Using thematic ontologies for user- and group- based adaptive personalization in web searching

This paper presents Prospector, an adaptive meta-search layer, which performs personalized re-ordering of search results. Prospector combines elements from two approaches to adaptive search support: (a) collaborative web searching; and, (b) personalized searching using semantic metadata. The paper focuses on the way semantic metadata and the users’ search behavior are utilized for user- and group- modeling, as well as on how these models are used to re-rank results returned for individual queries. The paper also outlines past evaluation activities related to Prospector, and discusses potential applications of the approach for the adaptive retrieval of multimedia documents

Towards Self-Regulating Adaptive Systems

This paper discusses ongoing work towards a theoretical basis intended to facilitate the development of self-regulating adaptive systems. Self-regulation refers to the capacity of the system to assess the effects of, and modify, its own adaptive behaviour in prescribed ways at run-time. Although not new, the concept of self-regulation is largely missing from existing adaptive systems, arguably due to the perceived complexity involved in its theoretical grounding and practical implementation. The paper addresses in particular the following two questions: What are the operational requirements of self-regulating adaptive systems? What implications does self-regulation impose on the modelling- and decision making- approaches used? The theoretical benefits of “clusters ” of self-regulating systems, and the role of human experts in the self-regulation process are also briefly discussed.

Αρχιτεκτονική για την Ανάπτυξη Στατικά και Δυναμικά Αυτοπροσαρμοζόμενων Διεπιφανειών Χρήσης

In recent years, computers have evolved from a specialist's tool, to a pervasive medium for communication and exchange of information and knowledge. To meet the increasing needs, software systems need to be able to cater for the abilities, skills, requirements and preferences of their ever increasing user base. The development of interactive systems that are capable of adapting themselves has long been advocated as a plausible approach to meeting this objective. However, only recently have there been reported efforts towards developing frameworks that fa-cilitate the employment of adaptation techniques in the development of universally accessible user interfaces. This thesis presents an object-oriented, platform-, and programming language-independent architecture that can be used to develop adaptable and adaptive user interfaces, supporting adaptation at all three levels of human-computer interaction, namely the lexical, syntactic and semantic levels. The architecture is described and rationalised in detail, and is in-tended as a guide in the development of generic, adaptation-capable user interface development frameworks (or in the incorporation of adaptation capabilities in existing frameworks, such as the C++ "Mi-crosoft Foundation Classes" framework, or the Java "Swing" frame-work), as well as in the development of stand-alone adaptable and adap-tive interfaces. The merits of the proposed architecture lie with its simplicity and independence from interaction platforms and toolkits, as well as with the comparative ease of user interface implementation that it ensures. The thesis also presents an example of the employment of the proposed architecture in the development of an adaptable and adaptive Web browser. The example demonstrates both the practical issues of em-ploying the adaptation architecture, as well as specific choices made in incorporating it in the overall system architecture. Some preliminary re-sults of the evaluation of the resulting adaptation capabilities of the sys-tem are also presented.Τα τελευταία χρόνια οι υπολογιστές έχουν εξελιχθεί από ένα εργαλείο στα χέρια ειδικών, σε ένα γενικότερο μέσο επικοινωνίας και ανταλλαγής πληροφορίας και γνώσης. Έχουμε, λοιπόν, ένα αυξανόμενο σε μέγεθος και ποικιλομορφία πληθυσμό χρηστών που έχει νέου τύπου απαιτήσεις. Χρειαζόμαστε, κατά συνέπεια, συστήματα λογισμικού τα οποία ανταποκρίνονται στις ιδιαίτερες ικανότητες, δεξιότητες, ανάγκες και προτιμήσεις του κάθε χρήστη. Η ανάπτυξη αλληλεπιδραστικών συστημάτων τα οποία είναι ικανά να αυτοπροσαρμοσθούν ανάλογα με τις εκάστοτε απαιτήσεις έχει από καιρό αναγνωρισθεί ως μια εφικτή προσέγγιση προς τον παραπάνω στόχο. Ωστόσο, μόνο πρόσφατα άρχισαν να αναφέρονται στη βιβλιογραφία προσπάθειες δημιουργίας πλαισίων ανάπτυξης λογισμικού που υποστηρίζουν την ενσωμάτωση τεχνικών αυτοπροσαρμογής στην κατασκευή διεπιφανειών χρήσης, οι οποίες είναι καθολικά προσβάσιμες. Στην παρούσα εργασία παρουσιάζεται μια αντικειμενοστρεφής αρχιτεκτονική, ανεξάρτητη από συγκεκριμένη λειτουργική πλατφόρμα και γλώσσα προγραμματισμού, η οποία μπορεί να χρησιμοποιηθεί για την ανάπτυξη στατικά και δυναμικά αυτοπροσαρμοζόμενων διεπιφανειών χρήσης. Η αρχιτεκτονική υποστηρίζει προσαρμογές σε όλα τα επίπεδα αλληλεπίδρασης ανθρώπου-υπολογιστή (φυσικό, συντακτικό και σημασιολογικό). Η παρουσίαση της αρχιτεκτονικής συνοδεύεται από το σκεπτικό της σχεδίασής της, και προτείνεται ως οδηγός για την δημιουργία γενικών πλαισίων ανάπτυξης διεπιφανειών χρήσης (ή για την ενσωμάτωση δυνατοτήτων προσαρμογής σε υπάρχοντα πλαίσια ανάπτυξης, όπως, για παράδειγμα, το "Microsoft Foundation Classes" σε γλώσσα προγραμματισμού C++, και το "Swing" σε γλώσσα προγραμματισμού Java), καθώς επίσης και για τη ανάπτυξη μεμονωμένων, στατικά και δυναμικά προσαρμοζόμενων διεπιφανειών χρήσης. Τα πλεονεκτήματα της προτεινόμενης αρχιτεκτονικής συνίστανται κυρίως στην απλότητα της, την ανεξαρτησία της από συγκεκριμένες πλατφόρμες αλληλεπίδρασης και προγραμματιστικές βιβλιοθήκες διεπιφανειών χρήσης, καθώς επίσης την ευκολία που προσφέρει στην υλοποίηση αυτοπροσαρμοζόμενων διεπιφανειών χρήσης. Επίσης, δίνεται ένα παράδειγμα χρήσης της προτεινόμενης αρχιτεκτονικής στην ανάπτυξη μιας στατικά και δυναμικά προσαρμοζόμενης εφαρμογής πλοήγησης στον Παγκόσμιο Ιστό. Το παράδειγμα καταδεικνύει τόσο τα πρακτικά θέματα που προκύπτουν από την εφαρμογή της αρχιτεκτονικής, όσο και τις συγκεκριμένες επιλογές που έγιναν για τη σύνδεση της με τη γενικότερη αρχιτεκτονική του συστήματος. Τέλος παρουσιάζονται τα αποτελέσματα από την προκαταρκτική αξιολόγηση των υλοποιημένων δυνατοτήτων προσαρμογής του συστήματος

Adaptive Learning Environments and eLearning Standards

This paper examines the sufficiency of existing eLearning standards for facilitating and supporting the introduction of adaptive techniques in computer-based learning systems. To that end, the main representational and operational requirements of adaptive learning environments are examined and contrasted against current eLearning standards. The motivation behind this preliminary analysis is attainment of: interoperability between adaptive learning systems; reuse of adaptive learning materials; and, the facilitation of adaptively supported, distributed learning activities

Prospector: An adaptive front-end to the Google search engine

This paper presents Prospector a front-end to the Google search engine which, using individual and group models of users’ interests, re-ranks search results to better suit the user’s inferred needs. The paper outlines the motivation behind the development of the system, describes its adaptive components, and discusses the lessons learned thus far, as well as the work planned for the future